图像拼接技术深入解析：基于OpenCV3.4的Stitching模块源码分析（下篇）

图像拼接|——OpenCV3.4 stitching模块分析&＃xff08;一&＃xff09;续
上一篇讲了OpenCV几种特征检测方法&＃xff0c;其中默认的是surf算法&＃xff0c;但个人感觉sift效果更好一些。实际上在很多计算机视觉项目中&＃xff0c;特征检测更多使用的是vlfeat的sift实现&＃xff0c;下面我们就来看看。

OpenCV与VLFeat的SIFT实现之对比

opencv

stitching模块中使用SiftFeaturesFinder类来进行sift特征检测&＃xff0c;SiftFeaturesFinder类的构造函数如下&＃xff1a;

SiftFeaturesFinder::SiftFeaturesFinder()
{
#ifdef HAVE_OPENCV_XFEATURES2DPtr<SIFT> sift_ &＃61; SIFT::create();if( !sift_ )CV_Error( Error::StsNotImplemented, "OpenCV was built without SIFT support" );sift &＃61; sift_;
#elseCV_Error( Error::StsNotImplemented, "OpenCV was built without SIFT support" );
#endif
}


find函数用来检测特征信息&＃xff1a;

void SiftFeaturesFinder::find(InputArray image, ImageFeatures &features)
{UMat gray_image;CV_Assert((image.type() &＃61;&＃61; CV_8UC3) || (image.type() &＃61;&＃61; CV_8UC1));if(image.type() &＃61;&＃61; CV_8UC3){cvtColor(image, gray_image, COLOR_BGR2GRAY);}else{gray_image &＃61; image.getUMat();}UMat descriptors;sift->detectAndCompute(gray_image, Mat(), features.keypoints, descriptors);features.descriptors &＃61; descriptors.reshape(1, (int)features.keypoints.size());
}


可以看出&＃xff0c;如果想直接使用SIFT检测特征&＃xff0c;可以这么应用&＃xff1a;

#include
#include "opencv2/imgproc.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/xfeatures2d.hpp"using namespace cv;
using namespace cv::xfeatures2d;int main()
{Mat img &＃61; imread("4.jpg");Mat gray_image;cvtColor(img, gray_image, COLOR_BGR2GRAY);Ptr<SIFT> sift &＃61; SIFT::create();//关键点与描述子std::vector<KeyPoint> keypoints;Mat descriptors;sift->detectAndCompute(gray_image, Mat(), keypoints, descriptors);Mat output_img;drawKeypoints(img, keypoints, output_img, Scalar(255, 0, 0));std::cout << "Number of sift keypoints: " << keypoints.size() << std::endl;namedWindow("sift");imshow("sift", output_img);waitKey(0);return 0;
}


vlfeat

vlfeat是一个开源的轻量级的计算机视觉库&＃xff0c;主要实现图像局部特征的提取和匹配以及一些常用的聚类算法。其对sift特征提取的各个步骤进行了封装&＃xff0c;使用的方法如下&＃xff1a;

1. 调用vl_sift_new()初始化VlSiftFilt&＃xff0c;设置sift提取时参数信息&＃xff0c;如&＃xff1a;图像的大小&＃xff0c;Octave的个数&＃xff0c;每个Octave的中的层数&＃xff0c;起始的Octave的index。
2. 设置剔除不稳定关键点的阈值。
     - vl_sift_set_peak_thresh()设置接受极值点是一个关键点的最小对比度。该值越小&＃xff0c;提取到的关键点就越多。
     - vl_sift_set_edge_thresh()设置一个极值点是在边缘上的阈值。该值越小&＃xff0c;提取到的关键点就越多。
   这两个参数对最终提取到的特征点个数有很大的影响。
3. 对尺度空间的每个Octave&＃xff1a;
     - 调用vl_sift_process_first_octave()和vl_sift_process_next_octave()来计算下一个DoG尺度空间&＃xff08;返回VL_ERR_EOF时结束处理&＃xff09;。
     - 调用vl_sift_detect()进行关键点提取。
     - 对每一个提取到的关键点&＃xff1a;
      · 调用vl_sift_calc_keypoint_orientations()计算关键点的方向&＃xff0c;可能多于一个
      · 对每个方向&＃xff1a;
       · 调用vl_sift_calc_keypoint_descriptor()计算每个方向的特征描述子。
4. vl_sift_delete()释放资源。

完整代码&＃xff1a;

#include
#include "opencv2/imgproc.hpp"
#include "opencv2/highgui.hpp"
#include "vlfeat-0.9.20/vl/sift.h"using namespace std;
using namespace cv;void vl_sift_extract(const Mat & grey_img,vector<VlSiftKeypoint> &kpts, vector<float*> &descriptors);int main()
{const string file &＃61; "4.jpg";Mat img &＃61; imread(file, IMREAD_GRAYSCALE);Mat color_img &＃61; imread(file);vector<VlSiftKeypoint> kpts;vector<float*> descriptors;vl_sift_extract(img, kpts, descriptors);cout << kpts.size() << endl;//将VlSiftKeypoint转化为Point并画出for (int i &＃61; 0; i < kpts.size(); i&＃43;&＃43;){//cout <<"(" <Point center(cvRound(kpts[i].x), cvRound(kpts[i].y));int radius &＃61; 3;circle(color_img, center, radius, Scalar(0, 255, 0), 1, LINE_AA);}imshow("vl_sift", color_img);waitKey(0);return 0;
}/*Extract sift using vlfeatparameters:grey_img, 灰度图kpts, keypoint listdescriptors, descriptor. Need to free the memory after using.
*/
void vl_sift_extract(const Mat & grey_img,vector<VlSiftKeypoint> &kpts, vector<float*> &descriptors) {// sift提取接受的是float类型的数据&＃xff0c;要先将读到的数据图像转换为floatMat grey_img_float &＃61; grey_img.clone();grey_img_float.convertTo(grey_img_float, CV_32FC1);const int width &＃61; grey_img.cols;const int height &＃61; grey_img.rows;VlSiftFilt * vl_sift &＃61; vl_sift_new(width, height, log2(min(width, height)), 3, 0);vl_sift_set_peak_thresh(vl_sift, 0.0);vl_sift_set_edge_thresh(vl_sift, 10.);vl_sift_pix *data &＃61; (vl_sift_pix*)(grey_img_float.data);// Detect keypoint and compute descriptor in each octaveif (vl_sift_process_first_octave(vl_sift, data) !&＃61; VL_ERR_EOF) {while (true) {vl_sift_detect(vl_sift);VlSiftKeypoint* pKpts &＃61; vl_sift->keys;for (int i &＃61; 0; i < vl_sift->nkeys; i&＃43;&＃43;) {double angles[4];// 计算特征点的方向&＃xff0c;包括主方向和辅方向&＃xff0c;最多4个int angleCount &＃61; vl_sift_calc_keypoint_orientations(vl_sift, angles, pKpts);// 对于方向多于一个的特征点&＃xff0c;每个方向分别计算特征描述符float *des &＃61; new float[128];for (int i &＃61; 0; i < angleCount; i&＃43;&＃43;) {vl_sift_calc_keypoint_descriptor(vl_sift, des, pKpts, angles[0]);}descriptors.push_back(des);kpts.push_back(*pKpts);pKpts&＃43;&＃43;;}// Process next octaveif (vl_sift_process_next_octave(vl_sift) &＃61;&＃61; VL_ERR_EOF) {break;}}}
}


运行结果&＃xff1a;

opencv sift

vlfeat sift

opencv共检测出1287个特征点&＃xff0c;vlfeat检测出1079个特征点。
似乎vlfeat检测出的特征点分布更加均匀&＃xff1f;&＃x1f602;&＃x1f639;以上就是opencv与vlfeat的sift实现比较&＃xff0c;如有问题希望一起交流。

参考

图像检索(1): 再论SIFT-基于vlfeat实现 - Brook_icv - 博客园